Méthode du gradient conjugué
où on utilise la connaissance des
Gradients calculés dans les étapes précédentes.
- se distingue des Méthode de quasi-Newtons car ne nécessite pas d'approximer la Hessienne
- dans le cas quadratique, l'algorithme consiste à prendre une famille \(A\)-orthogonale \((d_k)_k\) de Direction de descentes et de minimiser, à chaque itération, sur \(x_0+\operatorname{Vect}\{d_0,\dots,d_{k-1}\}\)
- cette famille peut être obtenue via un Algorithme de Gram-Schmidt
- convergence : $$\lVert x_n-x_*\rVert^2_A\leqslant2\left(\frac{\sqrt{K(A)}-1}{\sqrt{K(A)}+1}\right)^n\lVert x_0-x_*\rVert_A^2$$
- la vitesse de convergence dépend donc fortement du Conditionnement de la matrice \(A\), d'où la nécessité d'un éventuel Préconditionnement
